Harmonizing Semantic and Collaborative in LLMs: Reasoning-based Embedding Generator for Sequential Recommendation
ReaEmb：隐式推理增强与协作奖励强化学习的两阶段LLM嵌入生成框架
🧭 LLM生成式推荐Embedding · 隐式推理+RL协作注入 ★ 深度解读
西安交通大学
通过隐式推理增强对比学习与协同奖励强化学习，让LLM生成的物品嵌入同时捕获深层语义和共现关系，提升序列推荐效果。
📌 工作参考价值（5 点）
- 两阶段核心理念可复现：先做语义增强（隐式推理+对比学习），再做协同信号注入（RL奖励优化），解耦训练，可在自己的LLM推荐embedding场景中直接参照。
- 隐式推理token的轻量化设计：仅增加一个轻量attention模块生成多个推理token，然后送入LLM二次前向得到embedding，训练和推理成本低，可离线缓存。适用于需要LLM理解物品属性多义的电商场景（如商品标题、品类、品牌组合）。
- 基于共现的奖励函数简单有效：用互作用序列统计物品共现次数，设计奖励让高共现物品对嵌入更近，无需昂贵的标注或用户反馈。这直接对标推荐系统中的协同过滤思想，可快速应用到广告或推荐系统的物品向量生成。
- RL的batch级优势估计稳定训练：舍弃组内归一化，改用噪声-free样本的batch均值作基线，解决了噪声扰动下的训练震荡，该trick可移植到其他RL优化embedding的场景。
- 长尾与热门兼顾：实验表明，该方法在整体和长尾推荐上都显著优于现有LLM2Emb、LLM2Vec等方法，且不同LLM架构（Qwen、Llama）下均可稳定提升，适合处理物品冷启动问题。